多步 Agent 工具推荐：检索任务所需的每一个工具
🧭 Agent 工具检索与推荐 · 成本优化 ★ 深度解读
Arcade.dev
部署的 Tool Recommendation 系统用固定三工具接口为多步 Agent 提供全目录 8200+ 工具，实现工具链完整性与端到端成本双赢
📌 工作参考价值（4 点）
- 固定接口 + 检索重排替代静态工具列表：当 agent 需要触达大量 API/工具/技能时，不要把所有 schema 塞进 context，而是暴露 SelectTools、UseTool、ListApps 等少数元工具，按需检索并执行；权限过滤放在 gateway 层，保证推荐结果符合用户 scope，可直接迁移到电商导购/客服 agent 管理商品查询、订单、优惠券等海量工具。
- 评估指标用 Completeness@K 而非 Recall@K：多步任务缺一个工具就失败，例如“查库存→比价→下单”三工具缺一不可；在内部工具检索 benchmark 上加入 Completeness 指标，能更好反映端到端成功率，而不是平均召回。
- 成本优化必须看实际账单（含 prompt cache）而非仅输入 token：输入 token 减少不代表账单同比例下降，因为缓存输入便宜得多；应明确 caching 规则、用美元账单对比，并识别静态列表与动态检索的盈亏平衡点（约 25-28 个工具，或搜索频率 >0.63 次/工具调用时静态列表更便宜）。
- 多步 agent 失败主因常是 agent 没发起搜索/任务拆解不清，而非排序错误：可在 prompt 中显式引导 agent 每个任务只搜索一次、一次搜索一个动作，并监控首次推荐覆盖率与未发起搜索占比，针对性迭代提示词。
AI辅导与人类专家在GRE学习增益上等效
🧭 对话式AI教学效果评估与基准
StudentBench平台证明AI辅导在GRE学习增益上等效于人类专家，成本低918倍
📌 工作参考价值（4 点）
- 在电商/搜索推荐系统的对话式Agent评估中，借鉴统计等效性检验（而非单纯显著性差异）来验证AI方案与人工方案的效果对等，可降低上线风险。
- 将成本效率作为核心指标：计算单位用户行为增益（如点击率提升、转化增量）的AI调用成本，对标人工运营成本，为技术选型提供量化依据。
- 响应速度与用户互动深度正相关（论文中速度→消息数→正确练习→学习增益），推荐系统Agent应优先优化首响延迟和流式生成速度，可能直接提升用户参与度和转化。
- 构建公开评测平台收集大规模真实用户-Agent交互数据，用于横向对比不同模型/策略，加速迭代；电商场景可搭建类似Benchmark，统一评估多Agent的推荐对话质量。
CliffCompaction：面向长程编码智能体的高成本效率上下文压缩
🧭 Agent 长程上下文压缩与成本优化
Carnegie Mellon University · Bosch Center for AI
一种只截断/丢弃、不重写原文的自动压缩法，在受限上下文下最多降低50%成本并保持或提升编码Agent性能
📌 工作参考价值（4 点）
- 在需要长会话/多轮 Agent 的场景（如导购、客服、推荐解释）中，上下文压缩优先采用“只截断/丢弃原始内容、不重写”，避免摘要改写引入信息偏差，可显著降低 API 成本且保持质量。
- 强制“绝不压缩已压缩内容”，每轮压缩都基于原始会话/文档，防止跨轮次的上下文漂移累积，适合超过百万 token 的持续学习/多轮交互。
- 将压缩逻辑做成 API proxy，不改动现有 agent scaffold 即可接入 Claude Code、Codex 等，业务侧可快速对现有推荐/广告 Agent 工作流做成本优化和 A/B 测试。
- 用相同预算做 test-time scaling（如并行采样多个推荐解释/策略）时，压缩带来的 per-rollout 节省让更多采样成为可能，可能以更低成本获得性能提升。
EarlyEval：通过早期结果预测降低 Agent 评估成本
🧭 Agent 评估成本优化 · 早停预测 ★ 深度解读
Shanghai Jiao Tong University · Singapore Management University · East China Normal University · Shanghai Innovation Institute
用 LightGBM 对部分轨迹预测最终成功/失败并提前终止，最高省 44% 输入 token 且几乎不改变排行榜排名
📌 工作参考价值（4 点）
- 对长链路搜索/导购/售后 Agent 的回归评测，可用历史 rollout 日志训练 LightGBM 成功/失败二分类器，在线每步提取行为+文本特征并校准阈值早停；相比 LLM-as-judge 每步推理，CPU 级推理开销可忽略。
- 特征设计不必依赖 gold 答案：行为特征（重复操作、错误类型、无编辑持续步数、测试失败趋势）和 TF-IDF+SVD 文本特征已能提供强信号；无参考解时可关闭 reference 特征，精度损失很小。
- 双阈值结构与独立 success/failure 分类器比单一联合模型更可控，可按业务需要分别调 precision/coverage，Platt 校准后阈值才可直接比较；建议在评估平台上做留一 agent/策略配置的验证。
- 适用于需要反复评测多个 prompt / scaffold / 模型版本迭代的场景：早停不会显著改变相对排名（ρ≥0.959），可作为内部快速反馈，最终对外榜单仍跑全程。
PACE：用原子评估低成本预测 Agent 能力的代理基准
🧭 Agent 评估 · 代理基准构建
Carnegie Mellon University · Salesforce AI Research
从非 Agent 原子评估中选取少例子集构建回归代理，预测 Agent 基准得分，成本低于 1% 且 MAE < 4%
📌 工作参考价值（4 点）
- Agent 选型与模型路由的快速筛选：面对 SWE-Bench、GAIA 等高成本 Agent 评测，可在内部构建 PACE 类代理，用小批量原子任务（指令跟随、工具调用等）快速预估候选模型或变体的 Agent 能力，避免全量昂贵评测，适合电商搜索/推荐 Agent 的 A/B 前筛选。
- 实例选择策略可迁移至推荐离线评估：PACE 的“目标相关局部选择 + 全局信息选择”组合，可借鉴到推荐模型的召回/排序评估中，从海量物品中选择少量 proxy items，以低成本近似在线指标。
- 解耦 Agent 能力画像：通过分析所选代理实例，可识别特定 Agent 基准（如工具使用、长程规划）对哪些原子技能最敏感，指导电商 Agent 训练时针对性地补强薄弱环节。
- 工程落地轻量：仅需线性回归，无需复杂模型，适合在 CI/CD 中集成，作为每次模型更新的快速健康检查，成本几乎可忽略。
校准模型级联：低成本的赞助搜索相关性离线标注
🧭 离线标注 · 模型级联 · 按类校准 ★ 深度解读
Walmart Global Tech
将精度与成本解耦：领域微调提供近20点精度提升，校准级联再节约一半计算量
📌 工作参考价值（4 点）
- 自动标注管线设计：先部署小模型 (Cross-Encoder) 处理绝大多数简单样本，仅对低置信度实例级联到更大 LLM，可在保持精度的同时节省约 50% 推理成本，适合大规模 query-item 相关性标注。
- 按类校准优于全局校准：对每个预测类别分别拟合 isotonic 回归，能够修正类别特异的过/欠置信，提升级联路由的准确性 (+0.6pp)；在分类器置信度用于触发不同策略时，推荐采用 per-class 校准。
- 模型规模与数据预算的联合规划：小模型（如 DeBERTa）学习曲线饱和早，大模型（8B）能持续从更多数据中获益；可根据标注预算将难例递交给大模型，最大化样本效率。
- 输入模板的严格一致性：微调后的分类头对 prompt 格式极度敏感，细微变化会导致精度下降 10–15 个点；生产环境必须固化模板并与训练时完全对齐。
TokenPilot：双粒度缓存高效的智能体上下文管理
🧭 Agent的上下文缓存管理 ★ 深度解读
Zhejiang University · University of Electronic Science and Technology of China · Xi'an University of Electronic Science and Technology · HomologyAI
通过前缀稳定化和残值驱动的驱逐实现缓存感知的上下文管理，大幅降低长时程LLM代理推理成本
📌 工作参考价值（4 点）
- 前缀稳定化：将系统提示中的动态变量（如工作目录、时间戳）替换为静态占位符，并将工具定义移至提示尾部，最大化跨轮次KV缓存命中。可直接应用于多轮对话式推荐助手，降低每次推理的预填充成本。
- 带安全网的观测压缩：对工具返回的环境消息（HTML、终端输出等）进行规则化瘦身和去重，同时保留恢复工具，允许代理在需要时拉取完整内容。类似思路可运用于电商Agent的页面抓取和处理，减少冗余token但不丢失关键信息。
- 残值驱动的生命周期管理：不立即清除已完成子任务的上下文，而是通过轻量估计器评估其剩余价值，只有在不再被后续任务依赖时才批量驱逐。这种保守策略能维持缓存连续性，适用于长期运行的商品搜索或营销任务流。
- 缓存感知的成本建模：评估上下文管理时，应直接统计缓存命中与未命中的token数，而非仅看总输入token，以此指导系统优化，使成本降低体现在实际计费上。
聚类反击：用Helmsman构建高性价比大规模向量检索系统
🧭 近似最近邻搜索 · 聚类索引系统优化
East China Normal University · Shanghai Jiaotong University · Xiaohongshu Inc
用聚类索引+用户态闪存栈+学习型剪枝+GPU加速，替代全内存HNSW，成本降90%且维持高性能
📌 工作参考价值（4 点）
- 当向量库规模导致全内存HNSW成本不可接受时，可参考聚类+全闪存架构，利用用户态I/O栈（如SPDK）消除内核开销，大幅降低硬件投入的同时满足低延迟SLA。
- 学习型剪枝（leveling-learned pruning）思路可用于多级检索系统：动态预测每层需扫描的聚类数量，避免固定剪枝造成的精度损失或冗余计算，可迁移到推荐召回的分层索引中。
- GPU加速索引构建流水线使十亿级索引能在小时内重建，适合电商场景下频繁全量/增量更新需求，缩短模型到上线的延迟。
- 系统层面将ANNS负载从数万核CPU+大内存下沉到少量闪存机器，对团队评估检索架构演进方向有直接参考价值：优先考虑存储优化和计算下推，而非线性堆资源。